大型语言模型在零拍设置中显示出令人鼓舞的结果（Brown等，2020； Radford等，2019）。例如，他们只需在问题上调节并以最高概率选择答案来执行多项选择任务。但是，由于表面竞争的表面形式 - 在不同的表面形式竞争概率质量，即使它们代表相同的基本概念，例如“计算机”和“ PC”。由于概率质量是有限的，因此由于其他是有效答案的字符串的竞争（但不是多项选择选项之一），这会降低正确答案的概率。我们引入域有条件地互相信息，这是一种替代评分函数，可以通过简单地根据特定的零击任务的上下文中的先验可能性重新重新拨出每个选项来直接补偿表面竞争。在校准（Zhao等，2021）和所有GPT-2和GPT-3模型上，在各种多项选择数据集上，它都可以在零击性能方面的一致增长和未校准的评分功能。
translated by 谷歌翻译